様々なレベルでの認識を統合した自律ロボットのためのビジョンシステム

電気通信大学201

AL-QUR’AN MENJAWAB TANTANGAN HAK ASASI MANUSIA

The conclusion of this study explains the nature of human dignity inherent in it from birth and its chronological process. The Al-Qur'an explains in detail and sequentially that the glorification of human dignity occurs in several phases. The first is before his existence on earth (unseen world): when Allah wants to make a human caliph (ruler) on earth, he orders the angels to prostrate to Adam as a respect, excellence, exaltation and knowledge are taught as a whole. Second, when in the womb where the fetus is well cared for and is well cared for by getting nutritious food through the placenta. Third, when he is in the world, he is given a perfect body shape, makes it easy for him to control the land and sea, is given the right to manage the world and everything in it, is given good sustenance, and is honored by other creations of Allah SWT. Fourth, be glorified at the time of death, at funerals, and after death. To maintain and protect the dignity of human beings, Allah has prepared three important components for humans as a basis for protecting human rights (HAM), namely faith, law, and morals. The method used in interpretation related to this research is the thematic method or maudui 'which is combined with qualitative methods as a basis for library research, Al-Qur'an verses, hadith syarif, journals, articles, seminars, and conference proceedings

Particle Filter with Integrated Multiple Features for Object Detection and Tracking

Considering objects in the environments (or scenes), object detection is the first task needed to be accomplished to recognize those objects. There are two problems needed to be considered in object detection. First, a single feature based object detection is difficult regarding types of the objects and scenes. For example, object detection that is based on color information will fail in the dark place. The second problem is the object’s pose in the scene that is arbitrary in general. This paper aims to tackle such problems for enabling the object detection and tracking of various types of objects in the various scenes. This study proposes a method for object detection and tracking by using a particle filter and multiple features consisting of color, texture, and depth information that are integrated by adaptive weights. To validate the proposed method, the experiments have been conducted. The results revealed that the proposed method outperformed the previous method, which is based only on color information

マルチモーダル潜在的ディリクレ配分法の多層化による知識の確率的表現

近年，ロボットと人の共存を目指すための研究が盛んに行われている．現状のロボット技術において，様々なロボットが開発されているが，限られた環境で特定のタスクを実行するものが殆どであり，タスクに必要な行動や入力パターンに対する応答などを人が全て事前に与えなければならない．ロボットが人と自然に暮らすためには，人の言葉を理解する必要があり，その言葉の背後にある潜在的な意味を解釈して行動しなければならない．また，コミュニケーションのために，ロボット自身の意図を言語として創出することが望まれる．旧来の人工知能の研究では，単語を単なる記号として扱い，その記号で閉じた世界の中で言語を理解する努力を続けてきた．自然言語処理・理解は，この流れを強く受けている．これに対して近年のロボティクス・人工知能研究では，いわゆる記号接地問題を基本として，言語の本質的な意味を扱い始めているが，未だに言語の理解や生成の本質的な解決には遠く及ばない．本論文では，ロボットが経験によって得るマルチモーダル情報に基づいて多様な概念を形成し，この概念を基盤とした言語理解・生成を考えることでこの問題を解決する新たな方向性を示す．ここで，概念とはマルチモーダルな情報を分類して形成される「カテゴリ」であり，この概念を通して様々な予測をすることが「理解」であると定義する．さらに言語は，こうした概念と結び付いた音韻ラベルであり，人との自然なインタラクションの中で獲得することが可能である．つまり本論文で提案するモデルは，ロボットが日常の活動によって得ることのできる情報を基盤に概念を形成し，音韻ラベルとの結び付きや語の順番を意味する文法をボトムアップに獲得することで，言語の意味理解や生成を実現するものである．これまで，マルチモーダル情報を用いた物体のカテゴリ分類手法は中村らによって提案されており，実際に，ロボットが経験することによって得た情報をカテゴリ分類することで，人間の感覚に近い物体概念の形成が可能であることを示している．また，形成された概念を利用して未観測情報を予測することができ，ロボットによる物体の理解が前述の定義の範囲で可能であると言える．しかし，より人間のように柔軟な理解をロボットで実現するためには，物体概念の獲得だけでは不十分であることは明らかである．なぜなら，ほとんどの物体はそれを使う人や使う人の動き，使われる場所などが関連しており，これらの情報を予測できない限りその物体を理解したとは言えないためである．つまり，物体概念のみならず人の動き概念や場所概念など多様な概念を学習すると同時に，それらの関係性を獲得する必要がある．このような多様な概念の獲得は，マルチモーダル情報の階層的カテゴリ分類へと発展させることで実現することで可能であり，最終的にはこれがロボットによる「事物の真の理解の計算モデル」となることを明らかにする．これが本論文のゴールである．本論文ではまず，第2章でロボットが家庭環境で作業することを考慮し，これまで著者が開発したヒューマノイドによる掃除タスクを一例として取り上げる．掃除タスクを行うために，「掃除」を定義する必要があり，その定義に従ったタスクの実現に必要な視覚認識システムやタスクの制御などを実装する．これによって定義範囲内の物体認識や把持行動などを実現することができるが，未知な環境に対して柔軟にタスクを行うことができない．この結果を踏まえて，「掃除」の本質的な意味を考察する．例えば，「掃除機をかける」という行動は掃除機を持って細かいごみの上で動かすことであると考え，「掃除機」という物体概念，「何かの上で動かす」という動き概念の相互関係から形成される概念であると考えることができる．すなわち，「掃除」とは多様な概念の階層的な相互依存関係から構成される概念であると考える．こうした多様な概念の形成とそれらの階層的な構造の構築がロボットの知識として重要である．第2章での議論に基づき第3章では，ロボットの確率的知識表現のためのマルチモーダル情報の階層的カテゴリ分類手法を提案する．提案手法は，マルチモーダル潜在的ディリクレ配分法（Multimodal Latent Dirichlet Allocation：MLDA）を階層化した多層マルチモーダル潜在的ディリクレ配分法（multilayered MLDA：mMLDA）である．下層のMLDAでは下位概念である，物体，動き，場所，人物の概念がそれぞれ形成され，上層のMLDA ではこれらの概念を統合する上位概念が形成される．このモデルを用いることで例えば，下位概念としてジュースという物体概念や物を口に運ぶという動き概念，ダイニングという場所概念などが形成される．上位層ではこれらの関係性が学習され，「飲む」という行動概念が形成される．これにより，ジュースを見ることでそれを口に運ぶ「飲む」という行動や，その「飲む」という行動が「ダイニング」という場所で行なわれやすいといった未観測情報の予測を行うことが可能となる．第4章では，形成された多様な概念を利用し，同時に語意や文法を獲得することで，観測したシーンを文章で表現する手法を検討する．ここで扱う問題は，階層的な概念における語意の獲得であり，どの階層のどの概念にどの単語が結び付くかという問題を解く必要がある．本論文では，単語と概念間の相互情報量を用いることで，どの単語が本来どの概念に結び付いているのかを自動的に推定する手法を提案する．これにより単語と概念の結び付きを学習することが可能であり，各単語に対応する，物体，場所や人などといった概念クラスの推定が可能である．従って，教示発話における概念クラスの生起順を学習することで，概念クラスの遷移確率という形で表現される確率文法を学習することができる．これによって，ロボットによる言語の意味理解や生成を実現することが可能となる．一方，実際のコミュニケーションは，背景知識や周辺の状況などといった文脈を考慮しなければ成立しない．つまり，事物に対する理解をより柔軟に行うためには，学んできた多様な概念を活用した上で，様々な文脈を考慮する必要がある．第5章では，ロボットが人と生活する上で，様々な文脈においてどのように行動決定するかを議論する．つまり，獲得した多様な概念と文脈と統合することで，適切な行動を決定する手法を提案する．これにより例えば，人が普段ソファーでテレビを見ているときに，お菓子を食べながらお茶を飲んでいるということを知っていれば，人が「お菓子を持ってきて」と命令した際の音声認識に誤りが生じたとしても，そのときに「ソファーでテレビを見ていてお茶を飲んでいる」という文脈を用いることで，ロボットが適切に判断をして正しい行動をとることができる可能性がある．第6章では，本論文のまとめと今後の課題について述べる．電気通信大学201

Inclined Image Recognition for Aerial Mapping using Deep Learning and Tree based Models

One of the important capabilities of an unmanned aerial vehicle (UAV) is aerial mapping. Aerial mapping is an image registration problem, i.e., the problem of transforming different sets of images into one coordinate system. In image registration, the quality of the output is strongly influenced by the quality of input (i.e., images captured by the UAV). Therefore, selecting the quality of input images becomes important and one of the challenging task in aerial mapping because the ground truth in the mapping process is not given before the UAV flies. Typically, UAV takes images in sequence irrespective of its flight orientation and roll angle. These may result in the acquisition of bad quality images, possibly compromising the quality of mapping results, and increasing the computational cost of a registration process. To address these issues, we need a recognition system that is able to recognize images that are not suitable for the registration process. In this paper, we define these unsuitable images as “inclined images,” i.e., images captured by UAV that are not perpendicular to the ground. Although we can calculate the inclination angle using a gyroscope attached to the UAV, our interest here is to recognize these inclined images without the use of additional sensors in order to mimic how humans perform this task visually. To realize that, we utilize a deep learning method with the combination of tree-based models to build an inclined image recognition system. We have validated the proposed system with the images captured by the UAV. We collected 192 images and labelled them with two different levels of classes (i.e., coarse- and fine-classification). We compared this with several models and the results showed that our proposed system yielded an improvement of accuracy rate up to 3%

Sistem Segmentasi Jalan dan Objek untuk Kendaraan Otonom Menggunakan Kamera RGB-D

Kendaraan roda empat yang memiliki kemampuan untuk melakukan perjalanan antar titik tanpa adanya operator manusia yang dimana menggunakan kombinasi antar sensor, kamera, radar, dan kecerdasan buatan (AI). Penggunaan kamera RGBDNIR (Red Green Blue Depth Near Infrared) dengan alat yaitu kamera Intel RealSense D435i yang dapat digunakan baik didalam ataupun diluar ruangan dimana sensor modul depth dan NIR dapat digunakan ketika keadaan kurang pencahayaan atau lingkungan redup. Dilakukannya penelitian ini dikarenakan untuk mencari solusi dari tingginya tingkat kecelakaan di jalan serta mencari solusi atas kelemahannya kamera RGB dalam penangkapan citra untuk yang dipadukan dengan penggunaan machine learning untuk pengambilan keputusan dalam menentukan kelas objek yang terdeteksi dan diproses untuk menghasilkan solusi dalam melakukan segmentasi di lingkungan terbuka (luar ruangan). Untuk perangkat lunak pemprograman yang akan digunakan yaitu Python serta pustaka yang akan digunakan antara lain PyTorch, OpenCV, dan TensorFlow dengan alat komputasi berupa laptop yang memiliki GPU Nvidia RTX 3060 atau sejenisnya. Hasil dari penelitian ini berupa gambar segmentasi dan pengenalan kelas objek yang terdeteksi dengan tingkat keakuratan dengan beberapa model mulai dari 39.60% hingga 63.71% yang dapat digunakan untuk penentuan kelas yang terbaca. Dengan tingkat literasi beragam sampai nilai terkecil 2E-10 dan memiliki waktu pemprosesan untuk setiap citra dari 0.22 detik sampai 0.01 detik

Kontrol Himpunan Panel Surya dengan Penyesuaian Diri Otomatis Menggunakan Aktuator dengan Dua Derajat Kebebasan

Untuk mendapatkan energi listrik dari sinar matahari, kita menggunakan panel surya sebagai alat untuk mengubah energi dari sinar matahari menjadi arus listrik yang dapat mencatu alat-alat elektronika yang kita gunakan sehari-hari. Agar kita dapat membuat suatu sistem yang efisien, kita dapat menggunakan berbagai metode untuk dapat meningkatkan energi yang dapat diserap oleh seluruh sistem. Salah satu metode yang dapat digunakan adalah menggunakan pelacak arah sinar matahari agar sistem dapat mengarahkan panel surya ke arah sinar matahari supaya panel surya dapat terus terpapar dalam kurun waktu yang lebih lama. Ada beberapa metode umum untuk melacak sinar matahari, dua diantaranya adalah dengan mengalkulasikan arah matahari berdasarkan posisi geografis dan waktu setempat dan melacak sinar matahari berdasarkan arah pancaran sinar matahari. Untuk menggerakkan sinar mataharinya sendiri, kita memerlukan aktuator. Tergantung sistemnya, jumlah aktuator yang digunakan akan menentukan energi yang dikeluarkan oleh sistem yang juga menentukan seberapa efisien kinerja dari sistem tersebut. Asumsi awal yang kita bisa dapat adalah semakin banyak aktuator yang digunakan maka semakin banyak energi yang dikeluarkan. Akan tetapi, penelitian ini akan menunjukkan bahwa asumsi tersebut hanya berlaku dalam situasi dimana beban kerja dari keseluruhan sistem memang dapat ditanggung oleh jumlah aktuator yang sedikit, bukan dalam keadaan dimana beban kerja dari aktuator ditumpangkan pada satu atau dua aktuator dalam sistem. Faktor ini lebih dipengaruhi oleh rancangan alat dan jenis aktuator yang digunakan ketimbang jumlah aktuator itu sendiri

Sistem Otomatis Pendeteksi Wajah Bermasker Menggunakan Deep Learning

COVID-19 merupakan virus yang telah dinyatakan sebagai pandemi oleh WHO, dan di indonesia sendiri menetapkan COVID-19 sebagai bencana nasional melalui Keputusan Presiden Nomor 12 Tahun 2020. Sumber utama transmisi dari virus ini berasal dari percikan pernapasan atau droplet yang salah satu pencegahan penyebarannya adalah dengan penggunaan masker. Saat ini, pemerintah sedang memberlakukan new normal. Walaupun beraktivitas di lingkungan luar, protokol kesehatan wajib diikuti dan seluruh masyarakat harus disiplin dalam menjalaninya. Pada studi ini dirancang sebuah sistem otomatis pendeteksi wajah bermasker menggunakan deep learning dalam menjalankan fungsinya. Sistem yang dirancang menggabungkan model deep learning, detektor wajah, dan program tracking dan counting menjadi sebuah sebuah sistem otomatis yang dibantu oleh Graphic User Interface (GUI) serta sebuah perangkat alarm dan platform Internet of Things dalam pemakaiannya. Berdasarkan hasil pengujian yang dilakukan mengikuti batasan masalah yang telah dirumuskan, model memiliki tingkat akurasi klasifikasi pada dataset test sebesar 99%. Implementasi pada Raspberry Pi 4 menunjukkan sistem berbasis model deep learning yang telah dibuat sukses melakukan deteksi, tracking dan counting yang datanya dikirimkan kepada alarm yang dirancang dan sebuah platform IoT, Ubidots. Performa deteksi maksimal dicapai saat objek deteksi bergerak 0,7 m/s, pencahayaan ≥ 100 lux, dan penggunaan modul TensorFlow Lite pada sistem dengan akurasi sebesar 85,7%. Hasil perbandingan dengan metode deteksi lain menunjukkan karakterisasi model deep learning memiliki akurasi deteksi sebesar 82%, lebih tinggi dari metode Haar Classifier dengan akurasi 53

Rancang Bangun Sistem Pendeteksi Keaslian Uang Kertas Rupiah Menggunakan Sinar UV dengan Metode Machine Learning

Sistem pendeteksi keaslian uang kertas rupiah merupakan metode yang dibutuhkan karena uang merupakan materi penting sehingga sering terjadi tindak kriminalitas. Metode yang sering digunakan adalah image processing untuk scaling dan color conversion, segmentasi untuk mendapatkan pola tertentu, atau dengan memperhatikan ciri fisik uang kertas rupiah, seperti tekstur dan pola terawang. Namun, metode-metode tersebut dapat dikatakan kurang efektif apabila terjadi peningkatan pemalsuan uang kertas rupiah dalam bentuk fisik. Sehingga penulis merancang sistem counting yang menggunakan sinar ultraviolet untuk menampilkan hidden pattern sebagai fitur khusus mendeteksi keaslian uang dengan metode machine learning dan menambahkan sistem counting buatan sendiri dengan fitur rotation invariant untuk melakukan pendeteksian lebih dari satu lembar uang kertas rupiah. Perpaduan image processing dan machine learning pada penelitian ini mampu memberikan hasil pengujian prototipe dengan metode k-NN dan CNN memberikan persentase keberhasilan prediksi sebesar lebih dari 90% dibandingkan dengan SVM, Random Forest, dan Naive Bayes yang kurang dari 85%. Mekanik prototipe ini mampu melakukan pendeteksian kurang dari 4 detik dengan 10 lembar uang kertas yang dideteksi. Dengan meningkatkan metode detection yang lebih expert, seperti deep learning dengan model yang fleksibel jika ingin digunakan dalam pendeteksi mata uang selain rupiah

A Visual Sensor for Domestic Service Robots

In this study, we present a visual sensor for domestic service robots, which can capture both color information and three-dimensional information in real time, by calibrating a time of flight camera and two CCD cameras. The problem of occlusions is solved by the proposed occlusion detection algorithm. Since the proposed sensor uses two CCD cameras, missing color information of occluded pixels is compensated by one another. We conduct several evaluations to validate the proposed sensor, including investigation on object recognition task under occluded scenes using the visual sensor. The results revealed the effectiveness of proposed visual sensor